ขุนอนุสรสิทธิกรรม (ทองดี วัชโรทยาน) เป็นบุตรของพระธานินทร์ตักกิจ (ทองอิน วัชโรทยาน) อดีตนายอำเภอสรรคบุรีลำดับที่ 4 ท่านเคยได้รับราชการเป็นนายอำเภอมโนรมย์ จังหวัดชัยนาท[1]

ขุนอนุสรสิทธิกรรม สมรสกับจิตต์เยี่ยม วัชโรทยาน (สกุลเดิม:วัฒนศัพท์)[2] มีบุตร 2 คนคือพันเอกขุนทยานราญรอน (ทองคำ วัชโรทยาน) อดีตผู้ว่าราชการจังหวัดนครสวรรค์ และอดีตเลขานุการรัฐมนตรีว่าการกระทรวงมหาดไทย และศาสตราจารย์ ดร. สรสิทธิ์ วัชโรทยาน อาจารคณะเกษตรศาสตร์ มหาวิทยาลัยเกษตรศาสตร์